0%

主题模型 (Topic Model)、LDA(案例代码)

发表于 分类于
  1. LDA 模型是什么

LDA 可以分为以下 5 个步骤：

  • 一个函数：gamma 函数。
  • 四个分布：二项分布、多项分布、beta 分布、Dirichlet 分布。
  • 一个概念和一个理念：共轭先验和贝叶斯框架。
  • 两个模型：pLSA、LDA。
  • 一个采样：Gibbs 采样

关于 LDA 有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称 LDA），本文讲后者。

按照 wiki 上的介绍，LDA 由 Blei, David M.、Ng, Andrew Y.、Jordan 于 2003 年提出，是一种主题模型，它可以将文档集 中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。此外，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

人类是怎么生成文档的呢？首先先列出几个主题，然后以一定的概率选择主题，以一定的概率选择这个主题包含的词汇，最终组合成一篇文章。如下图所示 (其中不同颜色的词语分别对应上图中不同主题下的词)。

那么 LDA 就是跟这个反过来：根据给定的一篇文档，反推其主题分布。

在 LDA 模型中，一篇文档生成的方式如下：

  • 从狄利克雷分布 中取样生成文档 i 的主题分布 。
  • 从主题的多项式分布 中取样生成文档 i 第 j 个词的主题 。
  • 从狄利克雷分布 中取样生成主题 对应的词语分布 。
  • 从词语的多项式分布 中采样最终生成词语 。

其中，类似 Beta 分布是二项式分布的共轭先验概率分布，而狄利克雷分布（Dirichlet 分布）是多项式分布的共轭先验概率分布。此外，LDA 的图模型结构如下图所示（类似贝叶斯网络结构）：

1.1 5 个分布的理解

先解释一下以上出现的概念。

  1. 二项分布（Binomial distribution）

    二项分布是从伯努利分布推进的。伯努利分布，又称两点分布或 0-1 分布，是一个离散型的随机分布，其中的随机变量只有两类取值，非正即负 {+，-}。而二项分布即重复 n 次的伯努利试验，记为 >)。简言之，只做一次实验，是伯努利分布，重复做了 n 次，是二项分布。

  2. 多项分布

    是二项分布扩展到多维的情况。多项分布是指单次试验中的随机变量的取值不再是 0-1 的，而是有多种离散值可能（1,2,3…,k）。比如投掷 6 个面的骰子实验，N 次实验结果服从 K=6 的多项分布。其中：

  3. 共轭先验分布

    在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。

  4. Beta 分布

    二项分布的共轭先验分布。给定参数 和 ，取值范围为 [0,1] 的随机变量 x 的概率密度函数：

    %3D%5Cfrac%7B1%7D%7BB(%5Calpha%2C%5Cbeta)%7Dx%5E%7B%5Calpha-1%7D(1-x)%5E%7B%5Cbeta-1%7D>)

    其中：

    %7D%3D%5Cfrac%7B%5CGamma(%5Calpha%2B%5Cbeta)%7D%7B%5CGamma(%5Calpha)%5CGamma(%5Cbeta)%7D>) %3D%5Cint_%7B0%7D%5E%7B%5Cinfty%7Dt%5E%7Bz-1%7De%5E%7B-t%7Ddt>)

    注：这便是所谓的 gamma 函数，下文会具体阐述。

  5. 狄利克雷分布

    是 beta 分布在高维度上的推广。Dirichlet 分布的的密度函数形式跟 beta 分布的密度函数如出一辙：

    %3D%5Cfrac%7B1%7D%7BB(%5Calpha)%7D%5Cprod_%7Bi%3D1%7D%5E%7Bk%7Dx_i%5E%7B%5Calpha%5Ei-1%7D>)

    其中

    %3D%5Cfrac%7B%5Cprod%7Bi%3D1%7D%5E%7Bk%7D%5CGamma(%5Calpha%5Ei)%7D%7B%5CGamma(%5Csum%7Bi%3D1%7D%5E%7Bk%7D%5Calpha%5Ei)%7D%2C%5Csum_%7B%7Dx_i%3D1>)

至此，我们可以看到二项分布和多项分布很相似，Beta 分布和 Dirichlet 分布很相似。

如果想要深究其原理可以参考：通俗理解 LDA 主题模型，也可以先往下走，最后在回过头来看详细的公式，就更能明白了。

总之，可以得到以下几点信息。

  • beta 分布是二项式分布的共轭先验概率分布：对于非负实数 和 ，我们有如下关系：

    %2BCount(m_1%2Cm_2)%3DBeta(p%7C%5Calpha%2Bm_1%2C%5Cbeta%2Bm_2)>)

    其中 >) 对应的是二项分布 >) 的记数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是 Beta 分布的情况，就是 Beta-Binomial 共轭。”

  • 狄利克雷分布（Dirichlet 分布）是多项式分布的共轭先验概率分布，一般表达式如下：

    %2BMultCount(%5Cvec%7Bm%7D)%3DDir(p%7C%5Cvec%7B%5Calpha%7D%2B%5Cvec%7Bm%7D)>)

    针对于这种观测到的数据符合多项分布，参数的先验分布和后验分布都是 Dirichlet 分布的情况，就是 Dirichlet-Multinomial 共轭。 ”

  • 贝叶斯派思考问题的固定模式：

    先验分布 >)+ 样本信息 = 后验分布 >)。

1.2 3 个基础模型的理解

在讲 LDA 模型之前，再循序渐进理解基础模型：Unigram model、mixture of unigrams model，以及跟 LDA 最为接近的 pLSA 模型。为了方便描述，首先定义一些变量：

  • 表示词， 表示所有单词的个数（固定值）。
  • 表示主题， 是主题的个数（预先给定，固定值）。
  • >) 表示语料库，其中的 M 是语料库中的文档数（固定值）。
  • >) 表示文档，其中的 N 表示一个文档中的词数（随机变量）。

  1. Unigram model

    对于文档>)，用 >) 表示词 的先验概率，生成文档 w 的概率为：

    %3D%5Cprod_%7Bn%3D1%7D%5E%7BN%7Dp(w_n)>)

  2. Mixture of unigrams model

    该模型的生成过程是：给某个文档先选择一个主题 z, 再根据该主题生成文档，该文档中的所有词都来自一个主题。假设主题有 ，生成文档 w 的概率为：

    %3Dp(z1)%5Cprod%7Bn%3D1%7D%5E%7BN%7Dp(wn%7Cz_1)%2B…%2Bp(z_k)%5Cprod%7Bn%3D1%7D%5E%7BN%7Dp(wn%7Cz_k)%3D%5Csum%7Bz%7Dp(z)%5Cprod_%7Bn%3D1%7D%5E%7BN%7Dp(w_n%7Cz)>)

  3. PLSA 模型

    理解了 pLSA 模型后，到 LDA 模型也就一步之遥——给 pLSA 加上贝叶斯框架，便是 LDA。

    在上面的 Mixture of unigrams model 中，我们假定一篇文档只有一个主题生成，可实际中，一篇文章往往有多个主题，只是这多个主题各自在文档中出现的概率大小不一样。比如介绍一个国家的文档中，往往会分别从教育、经济、交通等多个主题进行介绍。那么在 pLSA 中，文档是怎样被生成的呢？

    假定你一共有 K 个可选的主题，有 V 个可选的词，咱们来玩一个扔骰子的游戏。

    一、 假设你每写一篇文档会制作一颗 K 面的 “文档 - 主题” 骰子（扔此骰子能得到 K 个主题中的任意一个），和 K 个 V 面的“主题 - 词项” 骰子（每个骰子对应一个主题，K 个骰子对应之前的 K 个主题，且骰子的每一面对应要选择的词项，V 个面对应着 V 个可选的词）。

    比如可令 K=3，即制作 1 个含有 3 个主题的 “文档 - 主题” 骰子，这 3 个主题可以是：教育、经济、交通。然后令 V = 3，制作 3 个有着 3 面的 “主题 - 词项” 骰子，其中，教育主题骰子的 3 个面上的词可以是：大学、老师、课程，经济主题骰子的 3 个面上的词可以是：市场、企业、金融，交通主题骰子的 3 个面上的词可以是：高铁、汽车、飞机。

    二、 每写一个词，先扔该 “文档 - 主题” 骰子选择主题，得到主题的结果后，使用和主题结果对应的那颗 “主题 - 词项” 骰子，扔该骰子选择要写的词。

    先扔 “文档 - 主题” 的骰子，假设（以一定的概率）得到的主题是教育，所以下一步便是扔教育主题筛子，（以一定的概率）得到教育主题筛子对应的某个词：大学。

    上面这个投骰子产生词的过程简化下便是：“先以一定的概率选取主题，再以一定的概率选取词”。

    三、 最后，你不停的重复扔 “文档 - 主题” 骰子和”主题 - 词项“骰子，重复 N 次（产生 N 个词），完成一篇文档，重复这产生一篇文档的方法 M 次，则完成 M 篇文档。

    上述过程抽象出来即是 PLSA 的文档生成模型。在这个过程中，我们并未关注词和词之间的出现顺序，所以 pLSA 是一种词袋方法。生成文档的整个过程便是选定文档生成主题，确定主题生成词。

    反过来，既然文档已经产生，那么如何根据已经产生好的文档反推其主题呢？这个利用看到的文档推断其隐藏的主题（分布）的过程（其实也就是产生文档的逆过程），便是主题建模的目的：自动地发现文档集中的主题（分布）。

    文档 d 和词 w 是我们得到的样本，可观测得到，所以对于任意一篇文档，其 >) 是已知的。从而可以根据大量已知的文档 - 词项信息 >)，训练出文档 - 主题 >) 和主题 - 词项 >)，如下公式所示：

    %3D%5Csum_%7Bk%3D1%7D%5E%7BK%7DP(w_j%7Cz_k)P(z_k%7Cd_i)>)

    故得到文档中每个词的生成概率为：

    %3DP(di)P(w_j%7Cd_i)%3DP(d_i)%5Csum%7Bk%3D1%7D%5E%7BK%7DP(w_j%7Cz_k)P(z_k%7Cd_i)>)

    由于 >) 可事先计算求出，而 %5E%7B%7D>) 和 >) 未知，所以 %2CP(z_k%7Cd_i))>) 就是我们要估计的参数（值），通俗点说，就是要最大化这个 θ。

    用什么方法进行估计呢，常用的参数估计方法有极大似然估计 MLE、最大后验证估计 MAP、贝叶斯估计等等。因为该待估计的参数中含有隐变量 z，所以我们可以考虑 EM 算法。详细的 EM 算法可以参考之前写过的 EM 算法 章节。

1.3 LDA 模型

事实上，理解了 pLSA 模型，也就差不多快理解了 LDA 模型，因为 LDA 就是在 pLSA 的基础上加层贝叶斯框架，即 LDA 就是 pLSA 的贝叶斯版本（正因为 LDA 被贝叶斯化了，所以才需要考虑历史先验知识，才加的两个先验参数）。

下面，咱们对比下本文开头所述的 LDA 模型中一篇文档生成的方式是怎样的：

  • 按照先验概率 >) 选择一篇文档 。
  • 从狄利克雷分布（即 Dirichlet 分布） 中取样生成文档 的主题分布 ，换言之，主题分布 由超参数为 的 Dirichlet 分布生成。
  • 从主题的多项式分布 中取样生成文档 第 j 个词的主题 。
  • 从狄利克雷分布（即 Dirichlet 分布） 中取样生成主题 对应的词语分布 ，换言之，词语分布 由参数为 的 Dirichlet 分布生成。
  • 从词语的多项式分布 中采样最终生成词语 。

LDA 中，选主题和选词依然都是两个随机的过程，依然可能是先从主题分布 {教育：0.5，经济：0.3，交通：0.2} 中抽取出主题：教育，然后再从该主题对应的词分布 {大学：0.5，老师：0.3，课程：0.2} 中抽取出词：大学。

那 PLSA 跟 LDA 的区别在于什么地方呢？区别就在于：

PLSA 中，主题分布和词分布是唯一确定的，能明确的指出主题分布可能就是 {教育：0.5，经济：0.3，交通：0.2}，词分布可能就是 {大学：0.5，老师：0.3，课程：0.2}。 但在 LDA 中，主题分布和词分布不再唯一确定不变，即无法确切给出。例如主题分布可能是 {教育：0.5，经济：0.3，交通：0.2}，也可能是 {教育：0.6，经济：0.2，交通：0.2}，到底是哪个我们不再确定（即不知道），因为它是随机的可变化的。但再怎么变化，也依然服从一定的分布，即主题分布跟词分布由 Dirichlet 先验随机确定。正因为 LDA 是 PLSA 的贝叶斯版本，所以主题分布跟词分布本身由先验知识随机给定。

换言之，LDA 在 pLSA 的基础上给这两参数 %E3%80%81P(w_j%7Cz_k))>) 加了两个先验分布的参数（贝叶斯化）：一个主题分布的先验分布 Dirichlet 分布 ，和一个词语分布的先验分布 Dirichlet 分布 。

综上，LDA 真的只是 pLSA 的贝叶斯版本，文档生成后，两者都要根据文档去推断其主题分布和词语分布（即两者本质都是为了估计给定文档生成主题，给定主题生成词语的概率），只是用的参数推断方法不同，在 pLSA 中用极大似然估计的思想去推断两未知的固定参数，而 LDA 则把这两参数弄成随机变量，且加入 dirichlet 先验。

所以，pLSA 跟 LDA 的本质区别就在于它们去估计未知参数所采用的思想不同，前者用的是频率派思想，后者用的是贝叶斯派思想。

LDA 参数估计：Gibbs 采样，详见文末的参考文献。

  1. 怎么确定 LDA 的 topic 个数？
  1. 基于经验 主观判断、不断调试、操作性强、最为常用。
  2. 基于困惑度（主要是比较两个模型之间的好坏）。
  3. 使用 Log - 边际似然函数的方法，这种方法也挺常用的。
  4. 非参数方法：Teh 提出的基于狄利克雷过程的 HDP 法。

  5. 基于主题之间的相似度：计算主题向量之间的余弦距离，KL 距离等。

  6. 如何用主题模型解决推荐系统中的冷启动问题？

推荐系统中的冷启动问题是指在没有大量用户数据的情况下如何给用户进行个性化推荐，目的是最优化点击率、转化率或用户 体验（用户停留时间、留存率等）。冷启动问题一般分为用户冷启动、物品冷启动和系统冷启动三大类。

  • 用户冷启动是指对一个之前没有行为或行为极少的新用户进行推荐；
  • 物品冷启动是指为一个新上市的商品或电影（这时没有与之相关的 评分或用户行为数据）寻找到具有潜在兴趣的用户；
  • 系统冷启动是指如何为一个 新开发的网站设计个性化推荐系统。

解决冷启动问题的方法一般是基于内容的推荐。以 Hulu 的场景为例，对于用 户冷启动来说，我们希望根据用户的注册信息（如：年龄、性别、爱好等）、搜 索关键词或者合法站外得到的其他信息（例如用户使用 Facebook 账号登录，并得 到授权，可以得到 Facebook 中的朋友关系和评论内容）来推测用户的兴趣主题。 得到用户的兴趣主题之后，我们就可以找到与该用户兴趣主题相同的其他用户， 通过他们的历史行为来预测用户感兴趣的电影是什么。

同样地，对于物品冷启动问题，我们也可以根据电影的导演、演员、类别、关键词等信息推测该电影所属于的主题，然后基于主题向量找到相似的电影，并将新电影推荐给以往喜欢看这 些相似电影的用户。可以使用主题模型（pLSA、LDA 等）得到用户和电影的主题。

以用户为例，我们将每个用户看作主题模型中的一篇文档，用户对应的特征 作为文档中的单词，这样每个用户可以表示成一袋子特征的形式。通过主题模型 学习之后，经常共同出现的特征将会对应同一个主题，同时每个用户也会相应地 得到一个主题分布。每个电影的主题分布也可以用类似的方法得到。

那么如何解决系统冷启动问题呢？ 首先可以得到每个用户和电影对应的主题向量，除此之外，还需要知道用户主题和电影主题之间的偏好程度，也就是哪些主题的用户可能喜欢哪些主题的电影。当系统中没有任何数据时，我们需要一些先验知识来指定，并且由于主题的数目通常比较小，随着系统的上线，收集到少量的数据之后我们就可以对主题之间的偏好程度得到一个比较准确的估计。